Minamoto no Yoritomo là con trai thứ ba của Minamoto no Yoshitomo và Fujiwara Saneori. Yoshitomo là trưởng họ của gia tộc Minamoto (còn gọi là Seiwa Genji) đầy quyền lực, một chi thứ của dòng họ Nhật hoàng. Còn Saneori là con gái của dòng họ Fujiwara, một gia tộc quý phái đầy quyền lực khác.

Minamoto no Yoritomo được sinh ra tại Heian, kinh đô của Nhật Bản thời đó, ngày nay là thành phố Kyoto. Nhờ gia thế như trên, khi mới 13 tuổi, Yoritomo đã được phong một chức quan hàm tòng ngũ phẩm[1] và được phép vào chầu vua.

Năm 1159, trong triều đình Nhật Bản diễn ra một cuộc tranh chấp ngôi vị Nhật hoàng mà lịch sử Nhật Bản gọi đó là loạn Heiji. Gia tộc Minamoto tham gia vào cuộc tranh chấp này và cha của Yoritomo bị thua. Cả nhà Yoritomo bị bắt về kinh đô để xử trảm. Yoritomo được mẹ kế của Taira no Kiyomori, kẻ chiến thắng, là thiền ni Ikenozenni xin cho được sống và chỉ bị đầy ra đảo Izu, gần vịnh Tokyo vì Yoritomo giống với người con trai đã khuất của bà. Hai mươi năm tiếp theo, Yoritomo bị quản thúc tại Izu, song ông đã luôn quan tâm tới tình hình chính trị của Nhật Bản. Ông còn kết hôn với con gái của người quản thúc mình.

Năm 1180, ở Nhật Bản xảy ra nạn đói và đây là một trong những ngòi nổ cho hàng loạt cuộc nổi dậy chống lại quyền lực của dòng họ Taira. Gia tộc Minamoto lại vùng lên tranh chấp với gia tộc Taira, tạo nên chiến tranh Genpei. Taira no Kiyomori trước đó tiến hành nhiều cải cách rộng rãi, nên đã làm mất lòng Nhật hoàng. Vì thế, Hoàng tử Mochihito đã gửi mật chiếu cho Yoritomo sai ông chinh thảo gia tộc Taira. Từ Izu, Yoritomo chiêu mộ binh mã và nổi dậy. Ban đầu, do quân lực còn yếu, ông đã bị thua trong một số trận đánh và phải chạy trốn. Có lần suýt bị bắt, thì ông được Kajiwara Kagetoki, một viên chỉ huy của phe Taira, tha mạng.

Sau đó, Yoritomo trốn sang Chiba. Tại đây, ông nhận được sự hỗ trợ của gia tộc Miura, nên trở nên mạnh hơn. Trong khi đó, xã hội trở nên bất ổn và đám võ sĩ thuộc hạ của nhà Taira tan rã dần. Năm 1181, nhân vật xuất chúng của gia tộc Taira là Kiyomori qua đời. Từ đó, thế lực của Yoritomo là vô địch. Đầu tiên, ông giành quyền kiểm soát vùng Kantō. Sau đó, ông cho quân đánh vào kinh đô.

Năm 1183, khi 36 tuổi, ông giành được thắng lợi hoàn toàn và giành quyền độc tài quân sự về cho gia tộc Minamoto.